- Información general
- Automatización de IU
- UI-ANA-016: Introducir URL para abrir el navegador
- UI-ANA-017: ContinueOnError verdadero
- UI-ANA-018: enumerar actividades de OCR / imagen
- UI-DBP-006: uso del contenedor
- UI-DBP-013: uso incorrecto de la automatización de Excel
- UI-DBP-030: uso de variables prohibidas en selectores
- ST-DBP-021: tiempo de espera codificado
- UI-PRR-001: Simular clic
- UI-PRR-002: Simular tipo
- UI-PRR-003: uso incorrecto de aplicación abierta
- UI-PRR-004: retrasos codificados
- UI-REL-001: Idx grande en selectores
- UI-SEC-004: datos de correo electrónico del selector
- UI-SEC-010: Restricciones de aplicaciones / URL
- UI-USG-011: atributos no permitidos
- SY-USG-013: invocación de archivo privado
- SY-USG-014: Marcadores de posición de plantilla de ejecución incorrectos
- Aplicaciones y tecnologías automatizadas con UI Automation
- Herramienta de migración del navegador de UiPath
- Grabadora de Computer Vision
- Clic
- Mantener el puntero
- Escribir Texto Seguro
- Enviar tecla de acceso rápido
- Escribir en
- Comprobar
- Seleccionar elemento
- Seleccionar varios elementos
- Obtener texto
- Establecer texto
- Activar
- Resaltar
- Establecer foco
- Base de anclaje
- Anclaje consciente de contexto
- Buscar elemento relativo
- Indicar en pantalla
- Elemento existente
- Buscar elemento
- Esperar a fuga de elemento
- Buscar elementos secundarios
- Obtener antecesor
- Ámbito del elemento
- Obtener atributo
- Establecer región de recorte
- Obtener posición
- Realizar captura
- Esperar a atributo
- Apariencia en elemento
- Fuga en elemento
- Clic en el texto
- Mantener el puntero en el texto
- Buscar posición de texto
- Obtener texto completo
- Obtener texto visible
- Extraer datos estructurados
- Texto existente
- Clic en texto OCR
- Mantener el puntero sobre texto OCR
- Obtener texto OCR
- Buscar texto OCR
- Microsoft OCR
- Microsoft Project Oxford Online OCR
- Microsoft Azure Computer Vision OCR
- Tesseract OCR
- Google Cloud Vision OCR
- Texto OCR existente
- Clic en imagen
- Mantener el puntero en imagen
- Buscar coincidencias de imágenes
- Imagen existente
- Buscar imagen
- Esperar a fuga de imagen
- Apariencia en imagen
- Fuga en imagen
- Cargar imagen
- Guardar imagen
- Asociar navegador
- Cerrar pestaña
- Volver
- Avanzar
- Ir a inicio
- Inyectar JS Script
- Ir a
- Abrir navegador
- Actualizar navegador
- Establecer atributo web
- Asociar ventana
- Cerrar ventana
- Obtener ventana activa
- Ocultar ventana
- Maximizar ventana
- Minimizar ventana
- Mover ventana
- Restaurar ventana
- Mostrar ventana
- Exportar el árbol de la IU
- Invocar método de ActiveX
- Insertar código .NET
- Desencadenador de clic
- Desencadenador de pulsación de tecla
- Desencadenador de clic de imagen
- Desencadenador del sistema
- Desencadenador de tecla de acceso rápido
- Desencadenador del ratón
- Obtener información de atributo
- Supervisar eventos
- Obtener elemento de origen
- Reproducir evento de usuario
- Bloquear entrada de usuario
- Utilizar primer plano
- Desencadenador de cambio del atributo del elemento
- Desencadenador de cambio de estado de elemento
- Aviso
- Copiar texto seleccionado
- Obtener a partir del portapapeles
- Establecer en portapapeles
- Cerrar aplicación
- Abrir aplicación
- Iniciar proceso
- Obtener contraseña
- Información sobre herramientas
- Clic en imagen en pantalla
- Hacer clic en botón de barra de herramientas
- Lectura de barra de estado
- Seleccionar fechas en el calendario
- Seleccionar elemento de menú
- Expandir árbol
- Transacción de llamada
- Inicio de sesión en SAP
- Inicio de sesión en SAP
- Ámbito de la celda de la tabla
- Desencadenador de cambio de atributos de sesión de SAP
- Expandir árbol ALV
- Expandir tabla jerárquica ALV
- Utilizar Aplicación/Navegador
- Comprobar estado de aplicación
- Marcar/Desmarcar
- Clic
- Extraer datos de tabla
- Obtener texto
- Obtener URL
- Ir a URL
- Resaltar
- Mantener el puntero
- Atajos del teclado
- Navegar por el navegador
- Seleccionar elemento
- Realizar captura
- Escribir en
- Obtener atributo
- Obtener datos del navegador
- Establecer datos del navegador
- Desplazamiento del ratón
- Inject Js Script
- Arrastrar y soltar
- Para cada elemento de interfaz de usuario
- Desencadenador de eventos de aplicación
- Clic desencadenador de eventos
- Desencadenador de eventos de pulsación de tecla
- Establecer texto
- Comprobar elemento
- Rellenar formulario
- Realizar búsquedas en el navegador y recuperar resultados mediante las API de automatización de IU
- Exploración web
- Buscar imágenes
- Hacer clic en imágenes
- Eventos de desencadenador y supervisor
- Crear y anular archivos
- Páginas HTML: extraer y manipular información
- Manipulación de ventana
- Selección de lista automatizada
- Buscar y manipular elementos de ventana
- Gestionar automatización de texto
- Cargar y procesar imágenes
- Gestionar acciones activadas por el ratón
- Automatizar tiempo de ejecución de aplicación
- Ejecución automática de una aplicación local
- Navegación de explorador
- Automatización web
- Ejemplo de ámbito de desencadenador
- Computer Vision Local Server
- Automatización móvil
- Notas relacionadas
- Compatibilidad de proyectos
- Obtener tipos de registro
- Obtener registros
- Obtener origen de la página
- Obtener la orientación del dispositivo
- Obtener identificador de sesión
- Instalar aplicación
- Administrar aplicación actual
- Administrar otras aplicaciones
- Abrir enlace profundo
- Abrir URL
- Conexión de dispositivo móvil
- Pase de dedo posicional
- Pulse un botón del hardware
- Establecer orientación del dispositivo
- Realizar captura
- Tomar parte de la captura de pantalla
- Elemento existente
- Ejecutar comando
- Obtener atributo
- Obtener elemento seleccionado
- Obtener texto
- Establecer elemento seleccionado
- Establecer texto
- Deslizamiento
- Pulsar
- Escribir Texto
- Patrón de dibujo
- Terminal
- Notas relacionadas
- Acerca del paquete de actividades de Terminal
- Compatibilidad de proyectos
- Sesión del terminal
- Obtener área de pantalla
- Obtener texto en posición
- Obtener color de la posición
- Obtener campo en posición
- Configurar campo en posición
- Esperar texto en posición
- Teclas de envío
- Mover cursor
- Teclas de envío seguras
- Obtener texto
- Buscar texto
- Mover cursor al texto
- Enviar tecla de control
- Obtener campo
- Esperar texto en pantalla
- Esperar texto de campo
- Establecer campo
Utilizar las actividades de Computer Vision
Todas las actividades de Computer Vision funcionan solo cuando están dentro de una actividad del Ámbito de pantalla de CV , que establece la conexión real con el servidor de la red neuronal, lo que le permite analizar la interfaz de usuario de las aplicaciones que desea automatizar.
Cualquier flujo de trabajo que utilice actividades de Computer Vision debe comenzar arrastrando una actividad de Ámbito de pantalla de CV al panel del diseñador.
Una vez hecho esto, el botón Indicar en pantalla situado en el cuerpo de la actividad de ámbito se puede utilizar para seleccionar el área de la pantalla en la que se quiere trabajar.
Una vez que una actividad del ámbito de la pantalla de CV se configura correctamente, puedes empezar a usar el resto de actividades del paquete para crear tu automatización.
Las actividades que realizan acciones en elementos de la interfaz de usuario se pueden configurar en tiempo de diseño usando el botón Indicar en pantalla presente en el cuerpo de las actividades. Las actividades que tienen esta característica son:
- Ámbito de pantalla de CV
- Seleccionar lista desplegable de CV
- Comprobar CV
- Tabla de extracción de CV
- Clic de CV
- Elemento CV existente
- Texto de obtención de CV
- Resaltado de CV
- Mantener el puntero en CV
- Tipo de CV en
Al hacer clic en el botón Indicar en pantalla (tecla de acceso rápido: I) se abre el asistente de ayuda.
Indicar
El campo Indicar especifica lo que estás indicando en este momento. Cuando se abre el ayudante por primera vez, se debe indicar el destino . Para cada destino posible, el asistente selecciona automáticamente un anclaje, si hay uno disponible.
Mostrar elementos
El botón Mostrar elementos (tecla de acceso rápido: s) del asistente resalta todos los elementos de IU que han sido identificados por el análisis de Computer Vision, lo que facilita la elección de con qué interactuar.
Actualización de pantalla
El botón Actualizar pantalla (tecla de acceso rápido: F5) se puede usar en el momento del diseño, en caso de que algo cambie en la aplicación de destino, lo que te permite enviar una nueva imagen al servidor de Computer Vision para volver a analizarla.
Actualización de pantalla retrasada
El botón Actualización de pantalla retrasada (tecla de acceso rápido: F2) realiza una actualización de la aplicación de destino después de esperar 3 segundos. También se captura la dirección de desplazamiento automático en tiempo de ejecución (propiedad ScrollDirection).
Relativo a
Las actividades que tienen el asistente Indicar también incluyen una característica Relativo a , donde el objetivo es un elemento estable y se arrastra una distancia relativa a él. El destino principal, el estable, actúa como destino proxy para el segundo destino, el relativo.
Esto es útil cuando quieres seleccionar un área que no se corresponde con los elementos de la IU que ha identificado el motor Computer Vision, o cuando quieres seleccionar un área general en la IU sin especificar un determinado elemento de la IU.
El destino relativo puede ser un único punto o una selección de área en la aplicación que estás automatizando.
La selección de un solo punto normalmente se coloca en un lugar donde la detección de Computer Vision no es precisa y puede que no encuentre ciertos elementos. Las actividades que utilizan la selección de un solo punto son Clic de CV, Mantener el puntero sobre CV y Escribir CV en.
La selección de área la utiliza Obtener texto de CV y se activa automáticamente para esta actividad.
Como regla general, cualquier anclaje que añadas debe encontrarse en tiempo de ejecución, lo que significa que si no se encuentra al menos un anclaje, no se podrá encontrar toda la selección. Por lo tanto, los anclajes deben ser elementos estables que Computer Vision pueda detectar con certeza cada vez y que no cambien drásticamente en la interfaz de usuario en tiempo de ejecución.
Digamos que quieres hacer clic en el botón "X" de la imagen siguiente. Puedes observar que el destino está en el botón "X", pero el clic se produce en el círculo verde; esto se debe a que has elegido hacer clic en relación con el botón "X". Por lo tanto, a menos que Computer Vision no pueda detectar un determinado elemento de la IU, no es necesario utilizar la función Relativo a .
Para seleccionar el botón "X" y no un área relativa a él, asegúrate de que el botón "X" tenga un contorno verde.
Si el botón "X" no es estable, puedes hacer clic en relación con un elemento estable.
Indicación de tabla
Las actividades de Computer Vision también ofrecen soporte para indicar tablas. La orientación en tablas se puede realizar seleccionando la celda con la que desea interactuar, lo que solicita a la red neuronal que identifique automáticamente la columna y la fila que definen la posición de esa celda, mostrándolas en una cuadrícula.
De forma predeterminada, los nombres de la columna y la fila se utilizan en el descriptor para señalar la ubicación de la celda. Al hacer clic en los índices de columna y fila, se agregan automáticamente a tu descriptor. Esto puede ser útil en situaciones en las que se cambian los nombres de columnas y filas, pero se desea extraer la misma posición de una celda.
Después de indicar con éxito el destino, el asistente se cierra y la actividad se configura con el destino seleccionado.